Work2Skill: Capturing Human GUI Experience for Reusable Agent Skill Induction
Work2Skill：捕获人类 GUI 经验以归纳可复用智能体技能
🧭 Agent 技能归纳与复用
Shanghai Jiao Tong University · Fudan University · Nanyang Technological University · Zhejiang University · Shanghai Qiji Zhifeng Co., Ltd
提出 Work2Skill 框架，从人类 GUI 演示中自动归纳可复用技能，显著提升多个执行模型的任务成功率
📌 工作参考价值（4 点）
- 构建领域操作技能库：把电商运营、广告投放、客服工单等复杂后台操作的人类专家录屏与键鼠事件、UI 树对齐，自动抽取可复用的 workflow rules 和 completion checks，将流程规则与任务特定参数分离，供 Agent 在新任务中直接调用。
- 采用按需证据检查的归纳方法：不一次性解析长轨迹，而是让 LLM Agent 根据问题动态检索关键片段，避免长上下文噪声，适合从海量操作日志或工单记录中提取高质量 SOP。
- 搭建高质量演示采集管道：参考 WorkRecorder 的多模态对齐与完整性/成功筛选，企业内部可持续积累经过验证的专家示范，形成训练与评估数据闭环。
- 技能与执行模型解耦：验证技能注入对四种执行模型均有提升，说明可将技能作为独立模块叠加在 LLM/VLM Agent 上，便于迭代和迁移到不同业务场景。